NLP基本概念與應用

NLP基本概念

自然語言處理(Natural Language Processing, NLP)指機器對於人類自然語言與文字的辨識、分析、理解及生成的處理能力。自然語言處理主要控制AI對文字的理解能力，其賦予AI「看得懂」、「聽得懂」、「會寫句子」、「新聞與文章」、「了解及分辨文章」的主要內容等等。

NLP主要應用

1.語音與文字轉換

• 語音辨識(Speech Recognition):意思是語音轉文字，指AI如何才能聽得懂並辨識人類的聲音，如何由人類聲音的音波轉換成自然語言的文字。
• 語音合成(Speech Synthesis):意思為文字轉語音，指AI如何說的正確清楚，也就是說機器如何由一段文字生成對應的音波，並產生人類聽得懂的語言，例如:SIRI、GOOGLE助理。

2.自然語言生成(Natural Language Generation, NLG)
指AI如何能寫、造句、作文、寫文章等等，主要利用語言模型(Language Model)經過大語料庫的預訓練後來準確的預測與生成給定文字的下一個可能出現的字與段落。

3.自然語言分類
指AI如何聽得懂並了解文章內容。主要包括下列幾個核心應用:

• 情緒分析(Sentimental Analysis):指AI利用關鍵字的辨識，或句子的特徵來了解一段評論是表達正面還是負面的情趣，從而瞭解產品或政見等等的接受程度。
• 意圖分類(Intent Classification):指AI利用關鍵字的辨識，或句子的特徵來了解及分類使用者的意圖(User Intent)，例如:面對幾千萬種不同的講法，客服的AI是否能分辨出顧客是要查詢、訂購、還是其他意圖，才能提供相對應的服務。
• 文本分類(Text Classification):指AI對大量的文章、論文、新聞能利用關鍵字的辨識，或文本的特徵來快速將文本做正確分類。

4.語音配對生成
指AI面對來源文字序列(Source Word Sequence)能正確適當地轉換成另一個相對應的目標文字序列(Target Word Sequence)的能力。主要包括以下幾個核心應用:

• 機器翻譯(Machine Translation):AI透過配對兩種語言、語句的大量訓練與學習後，能將A語言轉換成多維的詞向量特徵後，再將此特徵數據解碼，轉換為B語言的過程。
• 問答系統(QA):指透過Q與A的配對數據訓練後，AI能自動辨識的Q的意圖，而檢索出一個適合的正確答案。
• 聊天機器人(Chatbot):指能於人類自然對話的互動是AI，聊天機器人對話時間更長，互動的輪次更多、更複雜。
• AI助理(AI Assistant):指能透過語音輸入而了解人類的意圖，進而提出適當的回應，或透過API與外界軟體結合來執行適當任務的一種互動聊天機器人。

5.文本分析(Text Analysis)
或稱為資訊檢索(Information Retrieval)，指AI從一段較長的自然語言、非結構文本中有目的地抽取其中重要、關鍵資訊，藉此了解此文本的主要意涵。

• 關鍵字抽取(Key Phrase Extraction):指AI從一個文本中依其代表性、關鍵字、重要性的高低抽取少數重要的關鍵詞(Keywords)，用來了解此文章的主要重點內容與類別。
• 摘要抽取(Abstract Extraction):指機器在原始類別中，自動摘要出最具代表性的文句或知識。
• 命名實體抽取(Named Entity Extraction,NEE):又稱「專有名詞抽取」，由文本中抽取在現實世界中「已命名好」、「具體存在」的特定實體謂之，實體可分為三大類包括數字、實體與時間，七小類包括人、組織、地點、時間、日期、硬幣與百分比，主要用來幫助目標文本的了解、搜尋與分類。
• 主題抽取(Topic Extraction):輸入文本抽取重要關鍵詞，並透過不同關鍵詞群組來了解這個文本討論的各種主題。

6.類文字序列的應用
除原文字的序列外，也可以針對下列序列來進行分類與了解:

• 音樂的自動作曲、作詞、伴奏、和弦，以及樂曲的自動搜尋、推薦、分析等。
• 生物資訊序列分析，例如:腦波、心電圖、聽診等等。

參考資料
人工智慧-概念應用與管理 林東清 著